Российский вендор Enterprise ИТ-решений ITPOD, входит в корпорацию ITG, анонсировал новый сервер ITPOD-ASR201-S08R (AI) на базе процессоров AMD EPYC 7003 серии (Milan) с поддержкой PCIe 4.0.
Сервер эффективен в задачах, связанных с работой нейронных сетей, высокопроизводительных вычислений (HPC) и компьютерным зрением. Он поддерживает установку двух GPU, TPU или DPU ускорителей от NVIDIA, Moore Threads, Sophgo и других производителей, что позволяет гибко адаптировать их под конкретные задачи.
Сервер протестирован на совместимость с ускорителями NVIDIA H100, L40S, T4, SOPHGO SC7 HP75 и Moore Threads MTT S4000. Исследования показали, что при работе с большой нейронной сетью LLaMA 3.1 70B, два ускорителя NVIDIA L40S на архитектуре Ada Lovelace обеспечивают двукратное увеличение производительности по сравнению с использованием одного GPU NVIDIA А800 (80GB). А при работе с диалоговой моделью Qwen-14B-Chat они показали скорость 10 токенов в секунду, что близко к результатам топовых решений.
Сервер также полностью совместим с TPU SOPHGO SC7 HP75. В тестировании с моделью YOLOv5s на 30-секундном видео один такой TPU завершил инференс всего за 6.2 секунды, что подтверждает его исключительные возможности в задачах компьютерного зрения.
«Мы разработали экономически эффективные серверы для решения задач умеренного масштаба в области искусственного интеллекта, компьютерного зрения и высокопроизводительных вычислений, ориентируясь на запросы российского рынка, — подытожил Илья Борняков, генеральный директор ITPOD, корпорация ITG. — Сегодня нейросетевые технологии занимают важное место в работе компаний различных отраслей. Например, они подходят для анализа большого количества видеопотоков, что востребовано в разработке ПО для управления автономными аппаратами, таких как решения компании WHEELIES. Также они могут быть использованы для создания продуктов в области автоматизации рабочих процессов, подобные AI-агентам от Ainergy. Контролируя весь процесс производства и сборки оборудования, мы гарантируем его надежную и эффективную работу».